Vật liệu từ cứng là loại vật liệu từ được phát hiện và sử dụng sớm nhất trong lịch sử loài người. Người Trung Quốc cho rằng từ đời Hoàng Đế (trị vì Trung Hoa từ những năm 2698 TCN đến 2599 TCN), đã chế tạo ra các kim chỉ nam dùng để xác định phương hướng. Đó là các đá nam châm có khả năng hút sắt và định hướng Bắc-Nam. Chính sử đầu tiên ghi chép việc chế tạo các la bàn này là đầu đời Nhà Chu (1046-771 TCN) và la bàn thực sự xuất hiện nhiều là thế kỷ thứ 7 trước công nguyên (đồng thời ở Trung Quốc và Hy Lạp). Các kim chỉ nam trong la bàn là một dạng của vật liệu từ cứng, là các ôxit sắt F e 3 O 4 {\displaystyle Fe_{3}O_{4}} .

Các vật liệu từ cứng thương phẩm dùng để chế tạo nam châm vĩnh cửu xuất hiện lần đầu tiên vào những năm từ 1740 đến 1750 ở châu Âu và thực sự phát triển mạnh từ cuối thế kỷ 19, đầu thế kỷ 20 đến nay.